最新的深层神经网络容易受到共同损坏的影响（例如，由天气变化，系统错误和处理引起的输入数据降解，扭曲和干扰）。尽管在分析和改善模型在图像理解中的鲁棒性方面取得了很多进展，但视频理解中的鲁棒性在很大程度上没有探索。在本文中，我们建立了腐败的鲁棒性基准，迷你动力学-C和Mini SSV2-C，该基准认为图像中的空间腐败以外的时间腐败。我们首次尝试对建立的基于CNN和基于变压器的时空模型的腐败鲁棒性进行详尽的研究。该研究提供了有关强大模型设计和培训的一些指导：基于变压器的模型比基于CNN的模型更好地腐败鲁棒性。时空模型的概括能力意味着对时间腐败的鲁棒性；模型腐败鲁棒性（尤其是时间领域的鲁棒性）通过计算成本和模型容量增强，这可能与提高模型计算效率的当前趋势相矛盾。此外，我们发现与图像相关的任务（例如，具有噪声的训练模型）的鲁棒性干预可能对时空模型不起作用。

Deploying reliable deep learning techniques in interdisciplinary applications needs learned models to output accurate and ({even more importantly}) explainable predictions. Existing approaches typically explicate network outputs in a post-hoc fashion, under an implicit assumption that faithful explanations come from accurate predictions/classifications. We have an opposite claim that explanations boost (or even determine) classification. That is, end-to-end learning of explanation factors to augment discriminative representation extraction could be a more intuitive strategy to inversely assure fine-grained explainability, e.g., in those neuroimaging and neuroscience studies with high-dimensional data containing noisy, redundant, and task-irrelevant information. In this paper, we propose such an explainable geometric deep network dubbed as NeuroExplainer, with applications to uncover altered infant cortical development patterns associated with preterm birth. Given fundamental cortical attributes as network input, our NeuroExplainer adopts a hierarchical attention-decoding framework to learn fine-grained attentions and respective discriminative representations to accurately recognize preterm infants from term-born infants at term-equivalent age. NeuroExplainer learns the hierarchical attention-decoding modules under subject-level weak supervision coupled with targeted regularizers deduced from domain knowledge regarding brain development. These prior-guided constraints implicitly maximizes the explainability metrics (i.e., fidelity, sparsity, and stability) in network training, driving the learned network to output detailed explanations and accurate classifications. Experimental results on the public dHCP benchmark suggest that NeuroExplainer led to quantitatively reliable explanation results that are qualitatively consistent with representative neuroimaging studies.

This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.

关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是，他们面临三个常见的陷阱：（1）尾巴：医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题，并导致性能恶化； （2）一致性：尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征； （3）多样性：整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身，以发现不同解剖学观点的类似但不同的样本。在本文中，我们介绍了一种新型的半监督医学图像分割框架，称其为您自己的解剖结构（MONA），并做出了三个贡献。首先，先前的工作认为，每个像素对模型培训都同样重要。我们从经验上观察到，仅此单单就不太可能定义有意义的解剖特征，这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次，我们构建了一组目标，鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后，我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性，该数据在不同的标签设置下实现了新的最新设置。

美国庞大的桥梁网络对其维护和康复提出了很高的要求。手动视觉检查的大量费用在某种程度上是一定程度的负担。高级机器人已被利用以自动化检查数据收集。在大量检查图像数据中，自动化多类元素的分割以及元素的表面缺陷将有助于对桥梁条件进行有效评估。培训单独的单任务网络，用于元素解析（即多类元素的语义分割）和缺陷分段无法在检查图像中合并这两个任务之间的密切连接，其中存在可识别的结构元素和明显的表面缺陷。本文的动机是开发多任务深神经网络，该网络完全利用桥梁元素和缺陷之间的这种相互依赖性来提高模型的性能和概括。此外，研究了提议的网络设计改善任务性能的有效性，包括特征分解，串扰共享和多目标损耗函数。开发了带有桥梁元件和腐蚀的像素级标签的数据集，用于培训和评估模型。评估开发的多任务深神经网络的定量和定性结果表明，推荐的网络不仅超过了独立的单任务网络（在桥梁解析上高2.59％，在腐蚀细分方面高2.59％），而且在计算时间和实施中也是如此能力。

空中机器人（例如无人机）已被利用进行桥梁检查。可以通过板载摄像机收集具有可识别的结构元素和明显表面缺陷的检查图像，以提供有价值的信息以进行条件评估。本文旨在确定用于在检查图像中解析多类桥梁元素的合适的深神经网络（DNN）。一组广泛的定量评估以及定性示例表明，高分辨率净（HRNET）具有所需的能力。通过数据增强和130张图像的训练样本，预先训练的HRNET有效地转移到结构元件解析的任务中，并达到了92.67％的平均F1得分和86.33％的平均值。

最近的作品显示了深度学习模型在词汇（IV）场景文本识别中的巨大成功。但是，在现实情况下，播音外（OOV）单词非常重要，SOTA识别模型通常在OOV设置上表现较差。受到直觉的启发，即学习的语言先验有限的OOV预言性，我们设计了一个名为Vision语言自适应相互解码器（VLAMD）的框架，以部分解决OOV问题。 VLAMD由三个主要谱系组成。首先，我们建立了一个基于注意力的LSTM解码器，具有两个适应性合并的仅视觉模块，可产生视觉平衡的主分支。其次，我们添加了一个基于辅助查询的自动回归变压器解码头，以进行通用的视觉和语言先验表示学习。最后，我们将这两种设计与双向培训相结合，以进行更多样化的语言建模，并进行相互的顺序解码以获得强烈的结果。我们的方法在IV+OOV和OOV设置上分别实现了70.31 \％和59.61 \％单词的准确性，分别在ECCV 2022 TIE TIE Workshop上的OOV-ST挑战的裁剪单词识别任务上，我们在这两个设置上都获得了第一名。

从图像中学习心脏运动中的时空对应关系对于理解心脏解剖结构的潜在动力学很重要。许多方法明确施加了平滑度约束，例如位移矢量字段（DVF）上的$ \ Mathcal {l} _2 $ NORM，而通常忽略转换中的生物力学可行性。其他几何约束要么正规化特定的感兴趣区域，例如在心肌上施加不可压缩性，要么引入其他步骤，例如在物理模拟的数据集上训练单独的基于网络的正规器。在这项工作中，我们提出了一个明确的生物力学知识，因为在所有心脏结构中对更通用的生物力学上可行的转化进行建模，而无需引入额外的训练复杂性，因此对预测的DVF进行了正则化。在2D MRI数据的背景下，我们验证了两个公开可用数据集的方法，并执行广泛的实验，以说明与其他竞争性正规化方案相比，我们提出的方法的有效性和鲁棒性。我们提出的方法可以通过视觉评估更好地保留生物力学特性，并使用定量评估指标显示分割性能的优势。该代码可在\ url {https://github.com/voldemort108x/bioinformed_reg}上公开获得。

最近，在机器阅读理解（MRC）中广泛研究了注意力增强的多层编码器，例如变压器。为了预测答案，通常使用预测因子仅从最终编码层中汲取信息，该层生成源序列的粗粒表示，即段落和问题。分析表明，随着编码层的增加，源序列的表示会变得更粗糙。人们普遍认为，随着深度神经网络中越来越多的层数，编码过程将越来越多地为每个位置收集相关信息，从而导致更粗糙的表示形式，这增加了与其他位置相似的可能性（指均质性） 。这种现象会误导该模型做出错误的判断并降低表现。在本文中，我们认为，如果预测指标可以利用编码器不同粒度的表示形式，从而提供了源序列的不同视图，从而使模型的表达能力可以充分利用，那将是更好的。为此，我们提出了一种新型方法，称为自适应双向注意封闭网络（ABA-NET），该方法可自适应地利用不同级别的源代表向预测指标。此外，由于更好的表示是提高MRC性能的核心，因此胶囊网络和自我发项模块被仔细设计为我们编码器的构建块，该模块分别提供了探索本地和全球表示的能力。在三个基准数据集（即小队1.0，Squad 2.0和COQA）上进行的实验结果证明了我们方法的有效性。特别是，我们在小队1.0数据集上设置了新的最新性能

磁共振光谱成像（MRSI）是量化体内代谢物的必不可少的工具，但是低空间分辨率限制了其临床应用。基于深度学习的超分辨率方法为改善MRSI的空间分辨率提供了有希望的结果，但是与实验获得的高分辨率图像相比，超级分辨图像通常是模糊的。已经使用生成对抗网络进行了尝试，以提高图像视觉质量。在这项工作中，我们考虑了另一种类型的生成模型，即基于流的模型，与对抗网络相比，训练更稳定和可解释。具体而言，我们提出了一个基于流动的增强器网络，以提高超分辨率MRSI的视觉质量。与以前的基于流的模型不同，我们的增强器网络包含了来自其他图像模式（MRI）的解剖信息，并使用可学习的基础分布。此外，我们施加指南丢失和数据一致性丢失，以鼓励网络在保持高忠诚度的同时以高视觉质量生成图像。从25名高级神经胶质瘤患者获得的1H-MRSI数据集上进行的实验表明，我们的增强子网络的表现优于对抗网络和基线基线方法。我们的方法还允许视觉质量调整和不确定性估计。